In [1]:
import pandas as pd
import numpy as np
from sklearn.model_selection import TimeSeriesSplit
import statsmodels
from statsmodels.tsa.seasonal import seasonal_decompose, STL
import statsmodels.tsa.api as smt
import statsmodels.api as sm
from statsmodels.tsa.arima.model import ARIMA
from statsmodels.tsa.arima_model import ARMA
from statsmodels.tsa.stattools import pacf, acf
from statsmodels.stats.stattools import durbin_watson
from sklearn.metrics import r2_score, mean_absolute_error, mean_squared_error, mean_absolute_percentage_error
import matplotlib.pyplot as plt
import seaborn as sns
import altair as alt
from utils import *
%matplotlib inline
In [2]:
data = pd.read_csv('vodafone_data.csv')
In [3]:
data.head()
Out[3]:
Експлоративний аналіз даних¶
In [4]:
data['Date'] = pd.to_datetime(data['Date']).dt.date
data['Date_index'] = pd.DatetimeIndex(data.Date)
In [5]:
data['year'] = pd.to_datetime(data['Date']).dt.year
data['quarter'] = pd.to_datetime(data['Date']).dt.quarter
data['month'] = pd.to_datetime(data['Date']).dt.month
In [6]:
data.Date.agg({min, max})
Out[6]:
In [7]:
data.shape
Out[7]:
Розподіл значень ряду по роках¶
Розподіл кількості значень ряду по роках¶
In [8]:
data.year.value_counts().plot(kind='bar', rot='45');
plt.title('Qty of observations for each year');
In [9]:
data.year.value_counts(normalize=True).plot(kind='bar', rot='45');
plt.title('Percentage of observations for each year');
Бачимо, що значення часового ряду розподілені практично рівномірно по роках¶
Розподіл значень ряду¶
In [10]:
sns.distplot(data.Close);
In [11]:
fig, axs = plt.subplots(nrows=data.year.nunique(), ncols=1, figsize=(9, 35))
for idx, year in enumerate(data.year.unique()):
sns.distplot(data.loc[data.year == year, 'Close'], ax=axs[idx]);
axs[idx].set_title('Distplot for {}'.format(year));
Розподіл значень по роках дає певні "натяки" на наявність негативного тренду¶
Аналіз пропущених значень¶
In [12]:
missing_dates = pd.date_range(start='2016-02-11', end='2021-02-11', freq='D').difference(data.Date)
In [13]:
# we have 568 missing dates
missing_dates.nunique()
Out[13]:
In [14]:
missing_dates
Out[14]:
In [15]:
missing_dates = pd.DataFrame(missing_dates, columns=['date'])
missing_dates['year'] = missing_dates['date'].dt.year
In [16]:
missing_dates.groupby('year').date.count().plot(kind='bar', rot='45');
plt.title('Qty missing values for each year');
In [17]:
missing_dates.year.value_counts(normalize=True).plot(kind='bar', rot='45');
plt.title('Percentage of missing values for each year');
In [18]:
missing_dates['month'] = missing_dates['date'].dt.month
missing_dates['day'] = missing_dates['date'].dt.day
In [19]:
missing_dates.head()
Out[19]:
In [20]:
missing_dates.day.value_counts(normalize=True).head()
Out[20]:
In [21]:
missing_dates.month.value_counts(normalize=True).head()
Out[21]:
Лінійна інтерполяція для обробки пропущених значень¶
In [22]:
data.head()
Out[22]:
In [23]:
data_no_missing = data.copy(deep=True)
In [24]:
data_no_missing.head()
Out[24]:
In [25]:
data_no_missing = data_no_missing.set_index('Date_index').asfreq('D')
In [26]:
data_no_missing.head()
Out[26]:
In [27]:
for col in ['Open', 'High', 'Low', 'Close', 'Volume']:
data_no_missing[col] = data_no_missing[col].interpolate()
In [28]:
data_no_missing.head()
Out[28]:
In [29]:
data_no_missing = data_no_missing.reset_index(drop=False)
In [30]:
data_no_missing.head(3)
Out[30]:
In [31]:
data_no_missing['Date'] = pd.to_datetime(data_no_missing['Date_index']).dt.date
data_no_missing['year'] = pd.to_datetime(data_no_missing['Date']).dt.year
data_no_missing['quarter'] = pd.to_datetime(data_no_missing['Date']).dt.quarter
data_no_missing['month'] = pd.to_datetime(data_no_missing['Date']).dt.month
In [32]:
data_no_missing.head()
Out[32]:
Аналіз наявності викидів в даних¶
In [33]:
fig = plt.figure(figsize=(10, 8))
sns.boxplot(data=data_no_missing, x=data_no_missing.year, y='Close');
plt.title('Box-Plots for each year');
Бачимо, що часовий ряд є досить "чистим", також проглядається негативний тренд¶
Аналіз наявності тренду, сезонності, циклічності¶
Візуалізація часового ряду¶
In [34]:
data_no_missing.set_index('Date').Close.plot(title='Closing price time series', figsize=(10, 7));
Візуалізація значень часового ряду у розбитті по рокам¶
In [35]:
fig, axs = plt.subplots(nrows=data.year.nunique(), ncols=1, figsize=(10, 50))
for idx, year in enumerate(data.year.unique()):
data_no_missing[data_no_missing.year == year].set_index('Date').Close.plot(
title='Closing price time series for {}'.format(year), ax=axs[idx], rot='45');
Поквартальна візуалізація значень часового ряду¶
In [36]:
data_no_missing.set_index('Date_index').Close.resample('Q').mean().plot(
title='Quarterely Closing price time series', rot='45');
In [37]:
fig, axs = plt.subplots(nrows=1, ncols=data.year.nunique(), figsize=(30, 10))
for idx, year in enumerate(data.year.unique()):
data_no_missing[data_no_missing.year == year].set_index('Date_index').Close.resample('Q').mean().plot(
title='Quarterely Closing price time series for {}'.format(year), ax=axs[idx], rot='45');
Помісячна візуалізація значень часового ряду¶
In [38]:
data_no_missing.set_index('Date_index').Close.resample('M').mean().plot(
title='Quarterely Closing price time series', rot='45');
In [39]:
fig, axs = plt.subplots(nrows=1, ncols=data.year.nunique(), figsize=(30, 10))
for idx, year in enumerate(data.year.unique()):
data_no_missing[data_no_missing.year == year].set_index('Date_index').Close.resample('M').mean().plot(
title='Quarterely Closing price time series for {}'.format(year), ax=axs[idx], rot='45');
Наведені графіки свідчать про наявність так званого "mean-revesring" тренду¶
Перевірка на стаціонарність¶
Тест Дікі-Фулера¶
In [40]:
stationarity_test(data_no_missing.Close, smt.adfuller)
Out[40]:
KPSS тест¶
In [41]:
stationarity_test(data_no_missing.Close, smt.kpss)
Out[41]:
Бачимо, що вихідний часовий ряд не є стаціонарним¶
Декомпозиція часового ряду¶
In [42]:
data_no_missing.head(1)
Out[42]:
In [43]:
data_no_missing = data_no_missing.set_index('Date_index')
Additive model¶
period=5¶
In [44]:
sesonal_decomposition_additive_5 = plot_decomposition(data_no_missing.Close, 'additive', 5)
Тест на стаціонарність для залишків¶
In [45]:
stationarity_test(sesonal_decomposition_additive_5.resid.dropna(), smt.adfuller)
Out[45]:
In [46]:
stationarity_test(sesonal_decomposition_additive_5.resid.dropna(), smt.kpss)
Out[46]:
Additive model¶
period=20¶
In [47]:
sesonal_decomposition_additive_20 = plot_decomposition(data_no_missing.Close, 'additive', 20)
Тест на стаціонарність для залишків¶
In [48]:
stationarity_test(sesonal_decomposition_additive_20.resid.dropna(), smt.adfuller)
Out[48]:
In [49]:
stationarity_test(sesonal_decomposition_additive_20.resid.dropna(), smt.kpss)
Out[49]:
Additive model¶
period=253¶
In [50]:
sesonal_decomposition_additive_253 = plot_decomposition(data_no_missing.Close, 'additive', 253)
Тест на стаціонарність для залишків¶
In [51]:
stationarity_test(sesonal_decomposition_additive_253.resid.dropna(), smt.adfuller)
Out[51]:
In [52]:
stationarity_test(sesonal_decomposition_additive_253.resid.dropna(), smt.kpss)
Out[52]:
Multiplicative model¶
period=5¶
In [53]:
sesonal_decomposition_multiplicative_5 = plot_decomposition(data_no_missing.Close, 'multiplicative', 5)
Тест на стаціонарність для залишків¶
In [54]:
stationarity_test(sesonal_decomposition_multiplicative_5.resid.dropna(), smt.adfuller)
Out[54]:
In [55]:
stationarity_test(sesonal_decomposition_multiplicative_5.resid.dropna(), smt.kpss)
Out[55]:
Multiplicative model¶
period=20¶
In [56]:
sesonal_decomposition_multiplicative_20 = plot_decomposition(data_no_missing.Close, 'multiplicative', 20)
Тест на стаціонарність для залишків¶
In [57]:
stationarity_test(sesonal_decomposition_multiplicative_20.resid.dropna(), smt.adfuller)
Out[57]:
In [58]:
stationarity_test(sesonal_decomposition_multiplicative_20.resid.dropna(), smt.kpss)
Out[58]:
Multiplicative model¶
period=253¶
In [59]:
sesonal_decomposition_multiplicative_253 = plot_decomposition(data_no_missing.Close, 'multiplicative', 253)
Тест на стаціонарність для залишків¶
In [60]:
stationarity_test(sesonal_decomposition_multiplicative_253.resid.dropna(), smt.adfuller)
Out[60]:
In [61]:
stationarity_test(sesonal_decomposition_multiplicative_253.resid.dropna(), smt.kpss)
Out[61]:
Побудова моделей за допомогою крос-валідації¶
In [62]:
data_no_missing = data_no_missing.reset_index(drop=False)
In [63]:
all_metrics_df, all_metrics_df_test = make_cross_validation(data_no_missing, test_size=100)
In [64]:
all_metrics_df
Out[64]:
In [65]:
all_metrics_df_test
Out[65]:
Розподіл метрик по ітераціям¶
Тренувальні вибірки¶
In [66]:
fig, axs = plt.subplots(nrows=all_metrics_df.shape[1], ncols=1, figsize=(15, 30))
for idx, metric_title in enumerate(all_metrics_df.columns):
axs[idx].plot(all_metrics_df[metric_title])
axs[idx].set_title('{} distribution through iterations'.format(metric_title))
Тестувальні вибірки¶
In [67]:
fig, axs = plt.subplots(nrows=all_metrics_df.shape[1], ncols=1, figsize=(15, 30))
for idx, metric_title in enumerate(all_metrics_df.columns):
axs[idx].plot(all_metrics_df_test[metric_title])
axs[idx].set_title('{} distribution through iterations'.format(metric_title))
